“准”“快”“少” 鼎甲DBackup为海量小文件备份全面提速

随着医疗、教育、电商、金融等行业中信息化管理的日益完善，非结构化数据的类型也越来越多，包括了档案（学校、图书馆）、图片（电商）、影像（医院）、账单（金融）、图纸（设计企业）等。企业的数据量从GB级向TB级甚至PB级几何增长，组成这海量数据中往往会存在许多小文件，单个文件的大小有到KB以下，而文件数量却可达到百万、千万、亿万的级别，形成海量小文件。 

面对由海量小文件组成的大数据，如何提高数据的备份速度是企业最为头痛的事情。鼎甲DBackup利用多种技术组合，在备份不同环节上优化处理，为海量小文件备份全面提速，并实现了“准”——精准去重、“快”——快速传输、“少”——少占资源”！

“准”

变长块分割技术　 数据精准去重 
鼎甲DBackup在对非结构化数据，特别是海量小文件的备份，采用了变长块分割的重删技术。因为海量小文件的数据变化情况复杂，采用固定块分割，常导致整个备份数据需要重新进行分块，而变长块分割只针对变化的数据做分割处理，解决了固定块分割中把没任何变化的数据重新分块而导致去重率低的问题，不仅大大降低了数据分割处理上对客户端计算资源的占用，并且保障了海量小文件的最佳数据重删效果。

“快”

多通道并行备份 　倍数提升效率 
鼎甲DBackup在文件备份通道建设上采用了文件索引与数据备份并行处理、多通道并行备份数据采集等技术手段，使备份效率呈倍数提高。就像水库排水时，建设多条水管并行抽水，能够有效提升排水效率一样。

文件索引与数据备份并行处理
对于GB数据量级别的文件备份处理，常规做法是在一个进程中进行串行处理：先遍历需要备份的文件，建立文件索引，再进行文件数据备份。但在海量文件数据中，往往存在小文件较多、文件目录层次深等情况，文件遍历并建立索引需要耗费很长时间，以串行方式处理，备份效率低。
鼎甲DBackup对于文件备份的处理，则是把文件索引和数据备份分离到两个不同的进程中并发处理，即系统在遍历文件目录时，一边为文件建立索引，一边对文件进行备份，这样就可以大大缩短文件数据的备份时间和效率。

多通道并行数据备份
在对文件进行备份数据采集处理中，鼎甲DBackup采用多通道并行技术，即系统基于流水线方式，在遍历出需要备份的文件，建立文件索引，然后把需要备份的文件信息分片，配送到各个数据备份通道中，备份数据通过多个通道并行传输到存储服务器存储。

多通道并行的处理方式难点在于文件信息分片后通道配送的策略，以及多通道备份后的备份集在恢复时的数据整合处理。鼎甲DBackup利用自研制算法，自动监测通道占用情况，把备份数据均衡分配到各个空闲通道。在数据恢复时，又将根据备份时分片信息把数据恢复到原文件目录中，高效安全。

“少”

服务端自动合成 　少占客户端资源　　针对海量文件的备份，尤其是海量小文件的备份，合成备份是最佳的备份策略。解决了传统周期性“完全备份+增量备份”策略存在备份时间长、大量占用了客户端主机计算资源、I/O资源和网络资源、影响核心业务的正常运行等系列问题。 　　 鼎甲DBackup支持对文件进行合成备份，即执行一次完全备份，后续每次进行增量备份。简单来就，就是鼎甲DBackup将会基于第一份全量备份数据和随后的增量备份集进行合并，生成新的全量备份数据，然后，再定时把新生成的全量备份集和增量数据集进行合并，再生成新的全量备份数据，以此循环处理。　　鼎甲DBackup文件合成备份可以支持任何平台和环境，特别是通过NFS和CIFS挂载盘的文件备份，这也是卷级CDP技术目前尚未支持的领域。

鼎甲DBackup通过多种技术组合，以“准”、“快”、“少”为海量小文件备份升级提速，更多技术更新敬请持续关注！